Quantifying Hyperparameter Transfer and the Importance of Embedding Layer Learning Rate
量化超参数迁移与嵌入层学习率的重要性
🧭 训练超参数迁移与μP
揭示μP优于标准参数化的关键在于嵌入层学习率，提出三指标量化超参数迁移质量
📌 工作参考价值（4 点）
- 在 AdamW 训练中，若不想完整迁移到 μP，可直接将嵌入层学习率相对于隐藏层放大（例如按宽度比例），即可获得类似 μP 的训练稳定性和超参数迁移效果，对推荐模型中的大嵌入表尤其适用。
- 评估超参数迁移时，可使用文中提出的三个指标：缩放律拟合优度、外推误差鲁棒性、参数化带来的渐近损失惩罚，为自己的 scaling 策略建立量化基准。
- 固定 tokens/参数比时，慎用权重衰减：虽能改善缩放律拟合，但会降低外推鲁棒性，可能需在 loss landscape 平滑性与迁移可靠性间权衡。
- 发现嵌入层学习率瓶颈后，可针对性地在混合精度训练或分层学习率设置中，为嵌入参数分配更高学习率，避免训练初期的不稳定。